8GB 内存也能跑 Kimi K3?2026 本地部署大模型配置全指南
8GB 内存也能跑 Kimi K3?2026 本地部署大模型配置全指南一块 8.24GB 内存的 CPU,一个 2.78 万亿参数的大模型,甚至不需要显卡,Kimi K3 就这么水灵灵地跑起来了。
来自主题: AI资讯
8206 点击 2026-08-05 16:37
搜索
一块 8.24GB 内存的 CPU,一个 2.78 万亿参数的大模型,甚至不需要显卡,Kimi K3 就这么水灵灵地跑起来了。
最近,Wafer AI 在 AMD MI355X 上部署了 Kimi K3。结果是,原本需要 16 张 NVIDIA B200、横跨两台服务器运行的模型,在一台配备 8 张 MI355X 的 AMD 服务器中就能完成部署。
有人总结,运行 Kimi K3 其实很容易,只需要 1.5TB GPU 内存、大约 8 张 H100,以及一座小型变电站。一名开发者拿出一台 128GB 统一内存的 M5 Max,直接加载 Kimi K3 发布在 Hugging Face 上的官方 MXFP4 权重。
听说K3这么猛,又属于免费开源,于是就有同学跑来问我一个特别真实的问题。听说K3这么猛,又属于免费开源,于是就有同学跑来问我一个特别真实的问题。这个问题问得太好了,好到我可以直接拿它当这篇文章的选题。因为它正好踩中了开源模型最反常识的地方。